Rethinking Continual Experience Internalization for Self-Evolving LLM Agents
重新思考自进化LLM智能体的持续经验内化
🧭 Agent 自进化 · 经验内化 ★ 深度解读
中国人民大学高瓴人工智能学院 · 北京航空航天大学软件学院 · 美团
揭示经验内化在多轮自进化中的能力崩塌，从经验粒度、注入模式、内化策略三维度给出稳定方案
📌 工作参考价值（4 点）
- 经验抽象为原则：在电商导购、多步工具调用等Agent场景中，经验积累应提取可复用的决策原则与失败模式（原则级），而非保留具体域名、URL等轨迹细节（实例级），后者在多轮更新中迅速失效。
- 逐步注入经验：在训练Teacher模型时，根据当前交互状态动态选择相关经验（逐步注入），避免全局固定经验导致模型过早终止（如未搜索直接回答）。在长时任务中，该模式可降低“过早应答”率（本工作中从63%降至0%），保持后续迭代的经验使用能力。
- 使用离线策略蒸馏：多轮自进化时，建议从强教师（经验感知模型）直接生成并筛选高质量轨迹进行蒸馏（离线），而非从学生模型采样再纠正（在线）。离线蒸馏训练出的轨迹更短（平均2.5步 vs 在线21.9步），且性能迭代更稳定，避免性能崩塌。
- 监控经验使用能力：在迭代内部化后，应评估模型在无经验和带经验上下文时的表现差距。如果差距消失或带经验反而下降，说明模型丢失了利用经验池的能力，会破坏下一轮Teacher的监督质量，需调整注入模式或经验提取策略。